flink idea 打包jar 并放到集群上运行 |
您所在的位置：网站首页 › flink maven打包 › flink idea 打包jar 并放到集群上运行 |
flink idea 打包jar 并放到集群上运行
|
本文内容纲要：
- flink idea 打包jar 并放到集群上运行
flink idea 打包jar 并放到集群上运行
在开始之前注意前提，当前项目的scala的版本要和集群上的scala一致 我已经创建好一个wordCount的flink项目 注意项目的pom文件给这些依赖加上provided（表示执行和打包都不用此依赖，只有编译时用）不进行这些依赖的打包,因为这些依赖集群的环境都有了，不排除的话，会导致jar包很大，同时还容易很集群的依赖冲突
方法一 在pom文件里加入插件配置 org.apache.maven.plugins maven-compiler-plugin 3.6.0 1.8 1.8 UTF-8 net.alchim31.maven scala-maven-plugin 3.1.6 2.11 2.11.12 UTF-8 compile-scala compile add-source compile test-compile-scala test-compile add-source testCompile org.apache.maven.plugins maven-assembly-plugin 2.6 jar-with-dependencies com.hw.WorldCount make-assembly package single
这里的入口类要修改成你main函数在的类
在命令行输入：mvn clean package -DskipTests
得到
选择with-dependencies的jar发布到集群上 方法二 先打开Project Structure
选择好项目的入口类
理由同上
然后点apply ,ok 开始build
打包完成
发送到集群上 standalone集群上运行 提交任务
如果是在yarn集群上，则要指定好相应的配置 ./bin/flink run -m yarn-cluster -yn 2 -yjm 1024 -ytm 1024 ./examples/batch/WordCount.jar 到集群web8081端口查看
如果遇到8081端口无法访问，很可能是防火墙没关或者flink集群未启动 本文内容总结：flink idea 打包jar 并放到集群上运行， 原文链接：https://www.cnblogs.com/huangguoming/p/11769407.html |
【本文地址】
今日新闻 |
推荐新闻 |